扩散模型可以用作解决各种反问题的学习先验。但是，大多数现有方法仅限于线性问题，从而将其适用性限制在更普遍的情况下。在本文中，我们建立在降级扩散恢复模型（DDRM）的基础上，并提出了一种解决某些非线性反问题的方法。我们利用DDRM中使用的伪内运算符并将此概念推广到其他测量操作员，这使我们能够使用预先训练的无条件扩散模型进行JPEG伪影校正等应用。我们从经验上证明了我们方法在各种质量因素中的有效性，从而达到与专门针对JPEG恢复任务训练的最先进方法相当的性能水平。
translated by 谷歌翻译
降级扩散概率模型（DDPM）是最近获得最新结果的生成模型系列。为了获得类条件生成，建议通过从时间依赖性分类器中梯度指导扩散过程。尽管这个想法在理论上是合理的，但基于深度学习的分类器臭名昭著地容易受到基于梯度的对抗攻击的影响。因此，尽管传统分类器可能会达到良好的精度分数，但它们的梯度可能不可靠，并可能阻碍了生成结果的改善。最近的工作发现，对抗性稳健的分类器表现出与人类感知一致的梯度，这些梯度可以更好地指导生成过程，以实现语义有意义的图像。我们通过定义和训练时间依赖性的对抗性分类器来利用这一观察结果，并将其用作生成扩散模型的指导。在有关高度挑战性和多样化的Imagenet数据集的实验中，我们的方案引入了更明显的中间梯度，更好地与理论发现的一致性以及在几个评估指标下的改进的生成结果。此外，我们进行了一项意见调查，其发现表明人类评估者更喜欢我们的方法的结果。
translated by 谷歌翻译
在过去的十年中，基于深度学习的网络在包括图像分类在内的许多任务中取得了前所未有的成功。尽管取得了非凡的成就，但最近的研究表明，这种网络很容易被小小的恶意扰动（也称为对抗性例子）所愚弄。这种安全弱点导致广泛的研究旨在获得强大的模型。除了此类模型的明显鲁棒性优势之外，还观察到，它们相对于人类感知的梯度。几项作品已将感知一致的梯度（PAG）确定为强大训练的副产品，但没有人认为它是独立现象，也没有研究其自身的含义。在这项工作中，我们专注于这种特征，并测试感知一致性梯度是否暗示着稳健性。为此，我们开发了一个新颖的目标，可以直接在训练分类器中促进PAG，并检查具有此类梯度的模型是否对对抗性攻击更强大。关于CIFAR-10和STL的广泛实验验证了此类模型可以提高稳健性能，从而揭示了PAG和稳健性之间令人惊讶的双向连接。
translated by 谷歌翻译
深神经网络（DNN）对不可感知的恶意扰动高度敏感，称为对抗性攻击。在实际成像和视觉应用中发现了这种脆弱性之后，相关的安全问题引起了广泛的研究关注，并且已经开发出许多防御技术。这些防御方法中的大多数都依赖于对抗性训练（AT） - 根据特定威胁模型对图像的分类网络进行训练，该模型定义了允许修改的幅度。尽管在带来有希望的结果的情况下，对特定威胁模型的培训未能推广到其他类型的扰动。一种不同的方法利用预处理步骤从受攻击的图像中删除对抗性扰动。在这项工作中，我们遵循后一条路径，并旨在开发一种技术，从而导致在威胁模型各种实现中的强大分类器。为此，我们利用了随机生成建模的最新进展，并将其利用它们用于从条件分布中进行采样。我们的辩护依赖于在受攻击的图像中添加高斯i.i.d噪声，然后进行了预验证的扩散过程 - 一种在脱氧网络上执行随机迭代过程的体系结构，从而产生了高感知质量质量的结果。通过在CIFAR-10数据集上进行的广泛实验，通过此随机预处理步骤获得的鲁棒性得到了验证，这表明我们的方法在各种威胁模型下都优于领先的防御方法。
translated by 谷歌翻译
在这项工作中，我们引入了一种新的随机算法被称为剪辑，其从任何线性逆问题的后部分布绘制样品，其中假设观察被添加的白色高斯噪声污染。我们的解决方案包含Langevin Dynamics和Newton的方法的想法，并利用预训练的最小均方误差（MMSE）高斯丹麦置位。所提出的方法依赖于包括劣化运算符的奇异值分解（SVD）的后续函数的复杂衍生，以获得所需采样的易迭代算法。由于其瞬极性，算法可以为同样嘈杂的观察产生多个高感性质量样本。我们展示了拟议的图像去掩饰，超分辨率和压缩感测的范例的能力。我们表明所产生的样品是尖锐的，详细且与给定的测量结果一致，它们的多样性暴露了解决的逆问题中的固有不确定性。
translated by 谷歌翻译